home *** CD-ROM | disk | FTP | other *** search
/ BBS in a Box 15 / BBS in a box XV-1.iso / Files / Internet / Info / BIGSURF vol 2.2.sit / BIGSURF vol 2.2.rsrc / TEXT_130_WWW Search Engines.txt < prev    next >
Encoding:
Text File  |  1995-05-16  |  3.9 KB  |  121 lines
  1.  
  2. WWW Search Engines
  3. //////////////////
  4.  
  5. Web ROBOTS (info searchers and finders)
  6.  
  7. CheckWeb
  8. http://www.stuff.com/~bcutter/home/programs/checkweb.html
  9. A useful robot that checks your web docs for dead links.
  10.  
  11. JumpStation
  12. http://www.stir.ac.uk/jsbin/js
  13. Robot search engine for locating sites and docs on Web
  14.  
  15. Lycos
  16. http://lycos.cs.cmu.edu/
  17. Robot catalog of Web, gopher and ftp sites
  18.  
  19. MOMspider WWW94 paper
  20. http://www.ics.uci.edu/WebSoft/MOMspider/WWW94/paper.html
  21. Roy Fielding's description of MOMspider and how other bots work
  22.  
  23. SG-Scout home page
  24. http://www-swiss.ai.mit.edu:80/~ptbb/SG-Scout/SG-Scout.html
  25. Another Web catalog robot - runs every few months to update info
  26.  
  27. WWW Robots, Wanderers and Spiders
  28. http://web.nexor.co.uk/mak/doc/robots/robots.html
  29. Place for info on Web robots. Includes list of known bots on WWW
  30.  
  31. World Wide Web Wanderer Index
  32. http://www.netgen.com/cgi/wandex
  33. A searchable index of over 28,000 documents from over 14,000 sites
  34.  
  35. WWW growth-bot
  36. http://www.netgen.com/info/growth.html
  37. - robot that measures the size of the Web
  38. ---------------------------------------------------------------------------
  39.  
  40. Web searchers
  41. /////////////
  42.  
  43. The WebCrawler
  44. http://www.biotech.washington.edu/WebCrawler/WebQuery.html
  45. ----------
  46.  
  47. The WebCrawler II
  48. http://webcrawler.cs.washington.edu
  49. ----------
  50.  
  51. The WWW Worm
  52. http://www.cs.colorado.edu/home/mcbryan/WWWW.html
  53. ----------
  54.  
  55. GNN Home page
  56. http://gnn.com/gnn/gnn.html
  57. Has a huge list of home pages from around the web
  58. Look in the Netizens area which lists individual home pages.
  59. ----------
  60.  
  61. Yahoo server
  62. Home page URL:
  63. http://akebono.stanford.edu/yahoo/
  64.  
  65. Although originally set up as a starting point for web surfers, this page
  66. has come into its own and now offers a huge database of over 40,000 web
  67. pages that are part of a searchable index. The database searchable list
  68. of web pages keeps growing and there is no charge for the use of this
  69. searching utility. The index is searchable by web page title and keyword
  70. so there is a good chance that what you are looking for is here. Once found
  71. the user can automatically link to that page and away you go!
  72. ---------------------------------------------------------------------------
  73.  
  74. Usenet Searchers
  75. ////////////////
  76.  
  77. Stanford University Electronic Library
  78. http://sift.stanford.edu
  79.  
  80. Lets you monitor Usenet newsgroups by entered keywords
  81. ---------------------------------------------------------------------------
  82.  
  83. Dictionary Look-Up
  84. //////////////////
  85.  
  86. WWW
  87. http://c.gp.cs.cmu.edu:5013/prog/webster
  88. http://www.ai.mit.edu/people/wessler/dict
  89.  
  90. Gopher
  91. gopher://gopher.niaid.nih.gov:70/77/deskref/.Dictionary/enquire
  92. gopher://knot.queensu.ca:17502/1webster
  93. ---------------------------------------------------------------------------
  94.  
  95. The Open Text Web Index
  96. http://www.opentext.com
  97.  
  98. [See the following URL for more info on web search tools]
  99.       http://cuiwww.unige.ch/meta-index.html
  100.  
  101. The Open Text Web Index, while still under heavy construction, is 
  102. now available for general use.  This Web search engine has currently
  103. indexed about half a million pages (http, gopher, ftp), and intends,
  104. in the near future, to index over 2 million pages and over 1
  105. billion words of text.  The following features of the Web Index
  106. distinguish it from the many other other web searchers.
  107.  
  108. 1. 100% of the full text of every page is indexed
  109. 2. Boolean and ranked search are supported
  110. 3. Updated every night in an effort to track the web as closely
  111.    as possible
  112. 4. Prefix, word, and phrase search all run at the same (high) speed
  113. 5. Hosted by a big-league Internet Service Provicer (UUNET Canada),
  114.    so there's lots of bandwidth
  115. 6. It's **FREE***
  116. 7. Real-time Key-Word-In-Context display of match points, to avoid
  117.    following URL's to check up on every match.
  118. 8. No preset number of match returns; if you find 845 pages, and have
  119.    the patience, the Index will scroll through them all.
  120. ---------------------------------------------------------------------------
  121.